AI 画漫画

今天看了一个由南开大学和字节跳动发布的项目——StoryDiffusion。通过提出的一致性自注意力机制，可以生成各种风格的漫画，保持角色风格和服装的一致性，从而实现连贯的叙事。

Feature

卡通角色生成

StoryDiffusion 可以创建出令人惊叹的一致性卡通风格角色。

多角色生成

StoryDiffusion 可以同时保持多个角色的身份一致性，并在一系列图像中生成一致的角色。

长视频生成

StoryDiffusion 通过图像语义运动预测器，可以利用生成的一致性图像或用户输入的图像作为条件，生成高质量的视频。

视频剪辑展示

StoryDiffusion还制作了创意视频剪辑，以更好地展示StoryDiffusion的运动预测器的性能。

Method

一致性自注意力的结构

StoryDiffusion 的生成管道用于生成主题一致的图像。

为了创建描述故事的主题一致的图像，StoryDiffusion将一致性自注意力机制整合到预训练的文本到图像扩散模型中。

StoryDiffusion将故事文本分成多个提示词，并使用这些提示词批量生成图像。

一致性自注意力在批量生成的多张图像之间建立连接，以保持主题一致性。

运动预测器的结构

StoryDiffusion的方法管道用于生成过渡视频，以获得主题一致的图像，如第3.1节所述。

为了有效地模拟角色的大幅度运动，StoryDiffusion将条件图像编码到图像语义空间，以编码空间信息并预测过渡嵌入。

这些预测的嵌入随后使用视频生成模型解码，在交叉注意力中作为控制信号引导每一帧的生成。

Example

我自己跑了一个花城的例子：